|
|
Machine Comprehension Using Commonsense Knowledge
Daniš, Tomáš ; Landini, Federico Nicolás (oponent) ; Fajčík, Martin (vedoucí práce)
In this thesis, the commonsense reasoning ability of modern neural systems is explored. The goal is to provide insight into the current state of research in this area and identify promising research directions. A state-of-the-art question-answering model has been implemented and experimented with in various scenarios. Unlike in older approaches, the model achieved comparable results with best available models for the target task without using any task-specific architecture. Furthermore, unintended statistical biases are discovered in a popular commonsense reasoning dataset which allow models to compute the correct answer even when it does not have sufficient information to do so. Based on these findings, recommendations and possible future research areas are suggested.
|
|
|
Generování kódu z textového popisu funkcionality
Kačur, Ján ; Ondřej, Karel (oponent) ; Smrž, Pavel (vedoucí práce)
Cieľom tejto práce bolo navrhnúť a implementovať systém na generovanie kódu z textového popisu funkcionality. Boli vypracované celkovo 2 systémy, prvý z nich slúžil ako kontrolný prototyp, a druhý ako reálny výstup práce. Zameral som sa na použitie nepredtrénovaných modelov s menšími rozmermi. Obidva systémy používali ako jadro model typu Transformer. Druhý systém využil na rozdiel od prvého syntaktický rozklad kódu aj textových popisov. Dáta pre obidva systémy pochádzali z projektu CodeSearchNet, cieľový jazyk pre generovanie bol jazyk Python. Druhý systém dosiahol lepšie číselné výsledky, ako prvý, s presnosťou predpovede slov 85%, zatiaľ čo prvý len 60%. Systém dokázal doplniť správny kód na dokončenie funkcie, s väčšou časovou odozvou. V tejto práci sa venujem takmer výlučne druhému systému.
|
|
|
Automatizovaná detekce ofenzivního jazyka a nenávistných projevů v přirozeném jazyce
Štajerová, Alžbeta ; Žmolíková, Kateřina (oponent) ; Fajčík, Martin (vedoucí práce)
Táto práca sa zaoberá fenoménom nenávistných prejavov a ofenzívneho jazyka, ich definíciami a detekciou. Popisuje metódy doterajšieho riešenia detekcie. Zhodnocuje dostupné dátové sady využiteľné pri trénovaní modelov zameraných na detekciu tohto fenoménu. Dáva si za cieľ uviesť ďalšie metódy riešenia detekcie tohto problému a porovnanie ich výsledkov a vyhodnotenie úspešnosti. Zvolený problém bol riešený piatimi modelmi. Dva z nich boli zamerané na extrakciu príznakov a ich následnú klasifikáciu. Ďalšie tri boli riešené pomocou neurónových sietí. Úspešnosť implementovaných modelov som experimentálne vyhodnotila. Výsledky tejto práce umožňujú porovnanie typických prístupov s metódami využívajúcimi najnovšie poznatky z oblasti strojového učenia použitých pre klasifikáciu nenávistného a ofenzívneho jazyka.
|
|
|
Named Entity Recognition Exploiting Sub Word Information
Dobrovodský, Patrik ; Egorova, Ekaterina (oponent) ; Kesiraju, Santosh (vedoucí práce)
The aim of this thesis is the creation of a Named Entity Recognition system based on an older state-of-the-art model and studying how subword information can improve the recognition of out-of-vocabulary words. This proposed system besides English has to support two additional Indo-European languages: German and Hungarian. This work features a named entity tagger based on deep learning using pretrained and custom-trained word embeddings, sparse features, and character embeddings extracted by a Convolutional Neural Network. All these features are then processed by sequence-based (bidirectional Long Short-Term Memory) and feature-based (Conditional Random Field) approaches with the goal of achieving a F1-score similar to the work it is based on, and to compare how far present time state-of-the-art systems have evolved. The result is a system that achieves a 90.98% F1-score on the CoNLL 2003 English test dataset using pretrained word embeddings, not far behind the original work's 91.26%. For the other two languages, the model scores 89.34% on the WikiAnn German test dataset and 93.04% on the WikiAnn Hungarian test dataset with the usage of custom-trained embeddings.
|
|
|
Deep Neural Networks Used for Customer Support Cases Analysis
Marušic, Marek ; Ryšavý, Ondřej (oponent) ; Pluskal, Jan (vedoucí práce)
Artificial intelligence is remarkably popular these days. It can be used to resolve various highly complex tasks in fields such as image processing, sound processing, natural language processing, etc. Red Hat has an extensive database of resolved support cases. Therefore an idea was proposed to use these data for data mining and information retrieval in order to ease a resolution process of the support cases. In this work, various deep neural network models were created for prediction of features which could help during the resolution process. Techniques and models used in this work are described as well as their performance in the specific tasks. Comparison of individual models is outlined as well.
|
|
|
Shlukování slov podle významu
Hošták, Viliam Samuel ; Otrusina, Lubomír (oponent) ; Smrž, Pavel (vedoucí práce)
Táto práca sa zaoberá sémantickou podobnosťou slov. Popisuje a porovnáva existujúce modely, ktoré sa aktuálne pre tento účel používajú. Rozoberá návrh a implementáciu vytvoreného systému na predspracovanie textového korpusu, vytváranie sémantických modelov a vyhľadávanie sémanticky príbuzných slov. Vytvorený systém umožňuje prácu s distribučnými sémantickými modelmi Word2vec, FastText a GloVe.
|
|
|
Vývoj korelačních pravidel pro detekci kybernetických útoků
Dzadíková, Slavomíra ; Safonov, Yehor (oponent) ; Martinásek, Zdeněk (vedoucí práce)
Diplomová práca sa zaoberá problematikou efektívneho spracovávania logových záznamov a ich následnou analýzou pomocou korelačných pravidiel. Cieľom práce bolo implementovať spracovávanie logových záznamov do štruktúrovanej podoby, extrahovať jednotlivé polia záznamu pomocou modelu pre spracovanie prirodzeného jazyka riešením úlohy zodpovedania otázok, a vyvinúť korelačné pravidlá pre detekciu škodlivého správania. Počas riešenia zadania boli vyhotovené dve dátové sády, jedna so záznamami zo zariadení Windows, druhá obsahuje záznamy z firewallu Fortigate. Vytvorené modely na báze predtrénovaných modelov s architektúrou BERT a XLNet, ktoré boli doučené na riešenie problému parsovania logov pomocou vyhotovených datasetov a ich výsledky boli analyzované a porovnané. Druhá čásť diplomovej práce bola venovaná vývoju korelačných pravidiel, kde bol skúmaný koncept obecného zápisu Sigma. Bolo vytvorených a úspešne otestovaných šesť pravidiel, ktoré boli nasadené vo vlastnom experimentálnom pracovisku v systéme Elastic Stack, pričom každé pravidlo je popísané taktikami, technikami a subtechnikami frameworku MITRE ATT&CK.
|
|
|
Navrhování klíčových slov v Centrálním portálu knihoven
Balaga, Róbert ; Otrusina, Lubomír (oponent) ; Smrž, Pavel (vedoucí práce)
Táto práca sa zaoberá rôznymi metódami extrakcie kľúčových výrazov z dokumentov, zo zameraním na diela z Centrálneho portálu knižníc. Boli implementované rôzne metódy z kategórie štatistických, lingvistických metód a metód založených na grafoch. Tiež bola navrhnutá vlastná metóda, ktorá kombinuje prístup štatistických a lingvistických metód. Jednotlivé metódy boli testované a analyzované pomocou štandardných metrík, pričom navrhnutá metóda dosiahla úspešnosť 30 percent.
|
|
|
Doplňování interpunkce do automatického přepisu řeči
Ščavnický, Tomáš ; Veselý, Karel (oponent) ; Szőke, Igor (vedoucí práce)
Táto práca sa zaoberá rekonštrukciou interpunkcie vo výstupoch systémov na automatický prepis reči. Výsledný systém by mal byť schopný rekonštruovať interpunkciu vo všeobecnej zväčša hovorenej angličtine s rozumnou mierou presnosti. Prirodzený ľudský jazyk sa v istých prípadoch sa môže javiť nedeterministický a tvorba reťazcov často podlieha veľkému množstvu gramatických pravidiel. Kvôli tomu boli na predikciu interpunkcie vybrané algoritmy strojového učenia pre ich schopnosť rozoznať komplikované vzory v dátach. Bolo vykonaných niekoľko experimentov s rekurentnými neurónovými sieťami za účelom nájdenia najvhodnejšej architektúry modelu. Výsledné modely vytvorené počas týchto experimentov dosahujú presnosť porovnateľnú ak nie lepšiu než práce, v súčasnosti považované za najlepšie v obore.
|
|
|
Porovnávání anotačních nástrojů
Prexta, Dávid ; Otrusina, Lubomír (oponent) ; Dytrych, Jaroslav (vedoucí práce)
Táto práca sa zaoberá problematikou porovnávania anotačných nástrojov pri práci s rozličnými dátovými sadami a získaním výsledkov porovnávania použiteľných pre vylepšenie znalostnej bázy anotátorov. V práci sú analyzované existujúce riešenia a ich nedostatky, z ktorých sú vyvodené požiadavky na nové riešenie. Ďalšie časti sa zaoberajú návrhom, implementáciou a testovaním výsledného nástroja, ktorý je v závere zhodnotený a sú navrhnuté možné rozšírenia do budúcna.
|
host ::
RSS.